Un 'prix Nobel' d'économie semblait avoir trouvé un critère simple pour savoir quelles politiques sociales sont les plus efficaces : il faut investir le plus tôt possible pour changer le plus les vies. Malheureusement, de nouvelles données sont venues chahuter cette théorie. Néanmoins, cette hypothèse est connectée à une découverte centrale et solide de l'économie de l'éducation, et ce résultat offre une piste dont peuvent se saisir les citoyens pour transformer le système scolaire français et réduire les inégalités et le mal-être scolaires qui le caractérisent.
Vous n'avez pas le temps de lire l'article ? Découvrez le Focus. Le Focus n'est pas un résumé, mais une courte vidéo qui se centre sur un des messages clefs du billet :
L'Ecole française : performances moyennes, inégalités et anxieté scolaire
Trois constats émergent quand on collecte des données sur le système scolaire français.
Premièrement, notre système éducatif obtient des résultats moyens lorsqu'on le compare aux autres pays développés. Un moyen de le savoir est de se baser sur les données de la dernière enquête internationale PISA sur les performances des systèmes éducatifs menée auprès des jeunes de 15 ans : "La France [est] légèrement au-dessus de la moyenne de l'OCDE (487 points). Elle se classe entre le 20e et le 26e rang en compréhension de l’écrit des pays participant au PISA et entre le 15e et 21e rang des pays de l’OCDE, au même niveau que l'Allemagne, la Belgique, le Portugal, la République tchèque et la Slovénie. Les élèves en France ont également obtenu des résultats légèrement supérieurs à la moyenne de l'OCDE en mathématiques et en science." Ceci, vous l'avez sans doute lu dans les médias.
Deuxièmement, notre système éducatif est un des plus inégalitaires des pays développés. Comme les précédentes, la dernière enquête PISA est à nouveau très nette à ce sujet : "La France est l'un des pays de l'OCDE où le lien entre le statut socio-économique et les performances dans PISA est le plus fort. En France, les élèves favorisés dépassent de 107 points les élèves défavorisés en lecture dans le cadre de l'enquête PISA 2018. C'est significativement plus que la différence moyenne de 88 points de score de l'OCDE". A nouveau, je ne vous apprends peut-être rien. En revanche, il est une troisième caractéristique de l'Ecole Française bien moins connue.
Troisièmement, les étudiants français semblent plus anxieux et avoir de moindres compétences socio-comportementales qu'ailleurs. Ce graphique de ce rapport du Conseil Analyse Economique l'illustre bien. Les élèves français subissent plus d'anxieté scolaire que la moyenne des pays de l'OCDE (développés). Ils sont moins persévérants que la moyenne. D'ailleurs, les élèves français sont plus nombreux à penser que leurs performances en mathématiques ne dépendent pas d'eux, et que s'ils sont mauvais, ils ne peuvent pas grand chose pour y rémédier. C'est ce qu'on appelle avoir un locus de contrôle interne en mathématique très bas. Ils semblent être moins performants que la moyenne lorsqu'il s'agit de résoudre collectivement des problèmes.
Est-ce que cela suffit à conclure que l'école française est une "machine à trier" (1), à brider et à humilier ? En fait, l'Ecole n'est pas le seul déterminant de ces compétences. On ne peut pas a priori faire d'elle la cause de tous les maux de la société française.
Néanmoins, une chose est certaine. Depuis plus d'un demi-siècle, des évaluations rigoureuses de politiques éducatives ont été menées un peu partout sur la planète - je définis plus bas ce que j'appelle des évaluations rigoureuses. On sait quelles pratiques pourraient être implémentées pour augmenter les résultats scolaires et les compétences socio-comportementales, les deux étant intimiment liés. C'est justement tout le sujet de mon billet d'aujourd'hui.
L'hypothèse d'Heckman : plus tôt vous tendrez une main, plus vous réduirez les inégalités
James Heckman n'est pas n'importe qui. Il est le 'prix nobel' d'économie en 2000. Il est reconnu pour ses travaux en économie de l'éducation, du travail, et en économétrie (statistiques appliquées à l'économie) mais pas pour la thèse que je vais vous présenter, car elle est plus controversée.
Heckman affirme avoir identifié un critère simple pour savoir si une politique sociale sera efficace pour réduire les inégalités : plus vous intervenez tôt, plus la politique sera efficace. En 2006, dans un article de la très célèbre revue scientifique Science, l'économiste avait illustré ce raisonnement par une jolie courbe comme celle-ci :
Il y a(vait) d'excellentes raisons de croire à cette courbe.
D'abord, vos résultats scolaires ne dépendent pas seulement de vos capacités cognitives, de votre quotient intellectuel. Les compétences non-cognitives telles que le fait d'être consciencieux, l'ouverture à l'expérience, l'extraversion, l'amabilité, la capacité à s'autoréguler et la stabilité émotionnelle comptent au moins autant. Contre les apparences, il s'agit de facteurs qu'on arrive bien à mesurer. Il faudrait d’ailleurs que j’écrive un article pour expliquer ce que bien mesurer signifie, mais vous trouverez quelques indices dans ce billet de 'debunking' d'une étude de Yanis Roussel et du Dr Raoult. En particulier, un prédicteur très robuste des résultats scolaires est le caractère consciencieux, c'est-à-dire la capacité à contrôler, à réguler et à diriger ses impulsions. Or, nombre de ces compétences non-cognitives sont acquises dans la petite enfance, et les enfants des familles plus populaires en sont en moyenne moins dotées (Exemple en France).
Plus encore, les connaissances acquises plus tôt sont le socle de celles acquises plus tard. Difficile d‘écrire une dissertation si on ne sait pas conjuguer un verbe au présent. Difficile de résoudre une équation aux dérivées partielles non-linéaires si on ne sait pas faire des additions.
Si vous souhaitez une preuve plus directe de la thèse d'Heckman, des expériences contrôlées randomisées (j'explique plus bas ce que c'est) montrent une très grande efficacité de certaines politiques ciblées sur des jeunes enfants, notamment aux Etats-Unis. Comme dans la théorie, ces expériences ont agi justement en augmentant les compétences non-cognitives des enfants. Et, comme dans la théorie, les politiques ciblées plus tôt ont été plus efficaces. C'est en tout cas ce que tentent de démontrer Heckman et d'autres auteurs dans cet article où ils étudient (notamment) les effets de 12 politiques qui sont présentées dans ce tableau en anglais :
Derrière tous ces chiffres, qu'est-ce que ces politiques impliquent concrètement ? Si vous êtes un geek des politiques éducatives (je vous assure qu'il en existe), l'exemple du Perry Preschool Program aux Etats-Unis vous vient sans doute à l'esprit. Le Perry Preschool Program était une politique ciblée sur des jeunes enfants issus de la minorité afro‐américaine (3‐4 ans) avec des QI inférieurs à 85 à 3 ans. Elle a été menée dans les années 1960, ce qui implique qu'on a pu mesurer ses effets à très long-terme. Les enfants ont bénéficié d'un soutien préscolaire de 2h30 chaque matin pendant 2 ans. Le but était d'impliquer l’enfant dans la résolution de problèmes et la prise de décision, leur apprendre à programmer leurs activités et à les réaliser et leur apprendre à collaborer lorsqu’il y a un problème. Le programme impliquait aussi des visites au domicile familial pour promouvoir les interactions parents‐enfants.
Si ce programme a eu des effets moindres et peu durables sur les capacités cognitives, il a en revanche augmenté les capacités non cognitives (surtout la motivation et l’autodiscipline) des enfants traités. Résultat : ils ont fait des études plus longues, ont été moins au chômage, ont eu des salaires plus élevés et ont moins souvent été délinquants. Certes, le coût par étudiant était élevé : 2 fois plus cher que le coût d’un enfant à l’école primaire en France. Néanmoins, il faut aussi songer aux bénéfices du programme : au bout de 40 ans, chaque dollar investi en a rapporté 16. Près de la moitié de ces bénéfices provient de moindres coûts de justice : "Ouvrez une école et fermez une prison".
Vous pourrez trouver d'autres exemples détaillés de ces politiques dans cette note du CAE, note que j'ai paraphrasée avec peu de vergogne dans les deux paragraphes précédents.
Face au succès de ces politiques précoces, de nombreux experts expliquent les faibles performances du système français en terme d'équité par le fait que la France sous-investisse dans le primaire. C'est le cas par exemple d'économistes comme Eric Charbonnier, éternel expert en éducation à l'OCDE qui affime dans une interview que la France doit "investir davantage dans les premiers niveaux d’éducation : préprimaire et primaire. C’est là que les inégalités débutent, que tout se joue et se cristallise pour la suite."
Malheureusement, le temps est assasin et emporte avec lui les rires des enfants (Séchan, 1985) et (parfois) les théories formulées trop hâtivement. Avant de discuter de si cette thèse est solide, j'aimerais répondre à deux objections qui ont sans doute déjà traversé l'esprit vif de mes lecteurs.
Pourquoi des expériences contrôlées randomisées ? Le paradoxe du Docteur Rush
Pour savoir si une politique éducative est efficace, l'expérience directe des professeurs est toujours une meilleure preuve que les spéculations d'intellectuels qui n'ont pas mis les pieds dans une classe depuis trente ans ni obtenu des données représentatives sur le système scolaire d'une manière ou d'une autre. Mais comme d'ailleurs bien des professeurs le savent, elle ne suffit pas ! Il ne suffit pas d'observer des classes avant et après la mise en place d'une politique éducative pour savoir si elle fonctionne, et, ce même si on répète l'exercice des dizaines, des centaines de fois. En effet, si les performances scolaires changent après cette politique, comment savoir si c’est à cause de cette politique et pas d'un autre facteur ? Même à supposer que le professeur n'ait changé son enseignement que d'une seule manière, la société change d'années en années, et les élèves avec.
C'est ce que j'ai envie d'appeler le paradoxe du Docteur Rush. Le Dr Rush est un médecin américain de la deuxième moitié du XVIIIème siècle, reconnu pour ses qualités humaines et médicales. Il a passé des décennies au chevet de ses patients. Pourtant, c'est autant de décennies qu'il a passé à défendre la saignée comme remède miracle. Il a fallu des expériences plus rigoureuses pour montrer que celle-ci était inefficace pour les pathologies que le Dr Rush entendait sincèrement soigner. Le fait d'être au contact d'un phénomène ne dispense pas d'employer une méthode rigoureuse pour le comprendre. Cela ne donne pas une compétence magique à distinguer corrélation et causalité. Symétriquement, le fait qu'on demande à une personne d'évaluer rigoureusement l'efficacité de ses pratiques ne signifie pas qu'on ne croit pas en ses compétences. Si on demande aux médecins de faire des essais cliniques des traitements qu'ils proposent, ce n'est pas parce qu'on croit qu'ils sont incompétents.
Mais alors, de quelles méthodes rigoureuses parle-t-on ? Comment savoir quelles politiques améliorent bien les performances scolaires ? Le meilleur moyen est de mener un essai contrôlé randomisé. Il s'agit d'une expérience où on tire au sort les élèves qui bénéficieront d'une politique et ceux qui en seront exemptés dans un premier temps. Imaginons alors qu'on observe un écart de résultat scolaire entre les deux groupes. Ce sera la preuve d'un effet de la politique : par le tirage au sort, le fait d'avoir bénéficié de l'intervention ou non sera le seul facteur qui distingue les élèves qui ont bénéficé de l'intervention ou non. Faute de pouvoir mener ce type d'expériences contrôlées, il existe aussi des méthodes quasi-expérimentales dont je parle ici.
Bien sûr, tout n'est pas chiffres. La recherche qualitative en éducation est aussi essentielle. Elle permet d'ébaucher des hypothèses plausibles, car nées de la confrontation directe avec le terrain. Elle permet d'acquérir des informations très riches, de saisir des phénomènes trop nouveaux et subtils pour qu'on puisse les quantifier. Simplement, si on se pose la question un peu étroite de savoir si une politique donnée a bien causé une augmentation des résultats d'une population dans des compétences données, la méthode expérimentale (expérience ou quasi-expérience) est la meilleure.
Pourquoi insister sur la rentabilité des politiques, le ratio coût/bénéfice ?
Est-ce là un délire bureaucratico-comptable ? C'est tout le contraire. "Quand on ne compte plus, c'est la peine des hommes qu'on ne compte pas"(2).
On peut entendre "bénéfice" à atteindre au sens plus large "d'objectif à atteindre". Or, quelque soit le bénéfice que vous attendez d'une politique, quelque soit le montant que vosu souhaitez que l'Etat dépense, vous avez intérêt à soutenir les politiques les plus rentables. Imaginons que vous souhaitiez réduire la part d'enfants avec des difficultés en lecture. Si vous désirez augmenter le budget de l'éducation, les politiques avec un coût par enfant sorti des difficultés de lecture plus bas permettront à un plus grand nombre d'enfants d'échapper à ce problème qui les handicapera toute leur vie. Si vous désirez sortir un nombre donné d’enfants des difficultés de lecture en dépensant le moins possible, choisir des politiques les plus rentables permettra de le faire à moindre coût, et donc de dégager des ressources que l'Etat pourra investir ailleurs dans des domaines qui vous tiennent plus à coeur.
On peut aussi penser au bénefice en termes ... monétaires. Pour un euro de dépensé dans un programme éducatif, combien d'euros rapporte-t-il ? En effet, lorsqu'une personne a plus de chance de travailler, touche un meilleur salaire, ou à moins de chance d'aller en prison, il rapporte plus à l'Etat -il paie plus d'impôts- et lui coûté moins - en transferts sociaux comme le RSA, ou en frais d'incarcération. On peut encore élargir le calcul. On peut aussi tenter d'inclure dans ce calcul des bénéfices importants mais qui ne traduisent pas immédiatement en argent sonnante et trébuchante pour l'Etat comme celui de vivre plus longtemps en meilleure santé. On peut aussi réduire la valeur des bénéfices à long-terme pour matérialiser le fait qu'on peut préférer les bénéfices à court-terme - un tien vaut mieux que deux tu l'auras.
Mesurer les bénéfices de politiques en euro est très courant car cela a deux avantages. D'une part, cela offre une mesure standardisée, une unité commune qui permet de comparer les effets de plusieurs programmes qui agissent sur des critères différents (exemple: un programme d'aide aux jeunes en difficulté et un programme d'extension de l'assurance-santé à des ménages plus pauvres). D'autre part, les débats politiques se concentrent souvent sur le coût d'une politique. Néanmoins, pour savoir dans quelle mesure une politique va grèver les comptes publics, ce qui compte vraiment est la différence entre ce qu'elle rapporte et ce qu'elle coûte.
Quoiqu'il en soit, vous n'avez pas besoin d'adhérer à cette approche par la monnaie pour considérer que les études que je cite dans ce billet sont intéressantes. L'écrasante majorité des études des économistes de l'éducation indique aussi des effets sur des indicateurs plus consensuels comme le taux d'emploi, le salaires, le taux de criminalité...
Un échec empirique de la théorie d'Heckman ?
Ces précisions étant faites, je peux revenir au coeur de l'article : est-ce que les politiques ciblées plus tôt sont plus efficaces comme Heckman semble l'affirmer ? Malheureusement, on peut se demander si le parpaing des données ne s'est pas écrasé sur l'alléchante tartelette aux framboises de la théorie d'Heckman.
Quid de l'étude d'Heckman et autres auteurs dont je parlais plus haut et qui semblait confirmer son hypothèse ? Peut-être que les 12 études analysées dans ce papier ont été trop soigneusement choisies. David Rea et Tony Burton, deux chercheurs se sont inquiétés de ce que "[le résultat d'Heckman soit] fortement influencé par l'inclusion du Perry Preschool program et du projet Abecedarian [un autre programme américain aux effets spectaculaires]. Ces études sont quelque peu controversées (...) De nombreux chercheurs affirment que le programme Perry Preschool et le projet Abecedarian ne fournissent pas un guide fiable sur les impacts probables de l'éducation de la petite enfance dans un contexte moderne." (Source). En effet, dans leur article, ils montrent que lorsqu'on collecte des données sur la rentabilité d'un plus grand nombre de politiques sociales (248) qui ciblaient des individus d'âge différent, la relation prédite par Heckman disparaît :
Les détails du calcul du ratio coûts/bénéfices sont consultables ici.
Je laisse les auteurs commenter leur propre graphique : " l'âge n'est pas un raccourci pour identifier où les gouvernements devraient, ou ne devraient pas, investir. (...) Un certain nombre de programmes d'intervention précoce se sont avérés rentables, tout comme une série de programmes de "rattrapage" ou de "seconde chance" destinés aux personnes plus âgées. Une bonne politique publique exige une évaluation au cas par cas des preuves et une analyse coûts-avantages pour chaque intervention envisagée ".
Heckman a répondu très sèchement à cette étude. D'une part, il critique le choix des études des deux auteurs. Il les accuse de ne pas avoir tenu en compte d'autres facteurs que l'âge cible (comme la qualité des études) qui pourraient expliquer pourquoi certaines politiques ciblées sur les adultes affichent des résultats spectaculaires. D'autre part, il affirme que les auteurs n'ont pas compris ce que signifiait sa courbe : "[Ma courbe] ne veut pas dire que les ratios avantages-coûts (...) sont nécessairement plus élevés pour toutes les interventions auprès des jeunes. . . . La Courbe est une frontière technologique entre les programmes (meilleure pratique) et non une moyenne entre tous les programmes, qui peuvent être mal exécutés . . . Les décideurs ont besoin de conseils sur les meilleures pratiques, et non sur les pratiques moyennes."
Comme on l'a noté avant moi, ce deuxième argument est peu convaincant. D'une part, le graphique au début de mon article indique littéralement en anglais une phrase qui pourrait se traduire par "le plus tôt on investit, le plus haut sera le rendement". Il est issu du propre site de James Heckman. D'autre part, je laisse Andrew Gelman, sniper des sciences sociales et professeur aux départements de statistiques et de science politique à Columbia terminer mon paragraphe : "J'ai deux problèmes avec l'affirmation suivante : "Les décideurs politiques ont besoin de conseils sur les meilleures pratiques, et non sur les pratiques moyennes". Premièrement, nous ne savons pas vraiment ce qu'est la meilleure pratique. Ces interventions dont Heckman est si sûr qu'elles sont les meilleures pratiques, ne le sont peut-être pas. Deuxièmement, même si ces interventions étaient des meilleures pratiques, pour être mises à l'échelle, elles devraient être appliquées dans le monde réel, c'est-à-dire dans la pratique moyenne. Il serait naïf de penser que les interventions particulières qui ont été testées dans le cadre d'une expérience il y a de nombreuses années peuvent être appliquées directement dans de nouveaux contextes."
Quelque soit votre avis sur ce que signifie la courbe d'Heckman, une conclusion est nette et consensuelle : il n'y a pas de loi d'airain qui ferait de chaque année une de trop pour intervenir. Par exemple, il n'y a pas lieu de penser qu'une politique bénéficiant à des élèves de 9 ans va être moins efficace qu'une politique ciblant des enfants de 7 ans, simplement parce que la première politique est moins précoce que la deuxième.
Les mains tendues tôt, c'est important quand même
Est-ce que ça signifie que les conseils des experts des politiques éducatives comme Heckman ou Charbonnier qui insistent sur les politiques ciblées sur le pré-primaire et le primaire... ne reposent sur rien de solide ? Je ne le pense pas.
D'abord, on a bien des preuves que certaines politiques d'intervention précoces sont efficaces. Cette méta-analyse d'études de haute qualité sur les politiques éducatives ciblées sur les moins de 8 ans montre que celles-ci ont des effets substantiels sur les performances scolaires jusqu'au lycée. Une méta-analyse est une étude qui agrège les résultats d'autres études, et (en général) les mouline pour extraire un résultat moyen. On voit par exemple sur ce graphique l'effet de ces politiques sur la réduction du rédoublement.
Deux chercheurs à Harvard (Hendren et al. (2020) ) arrivent à la même conclusion en analysant 133 politiques non seulement éducatives mais aussi sociales (ex: accès à une assurance-santé pour les plus pauvres) menées aux Etats-Unis depuis la deuxième moitié du XXème siècle : "Nos résultats suggèrent que les investissements directs dans la santé et l'éducation des enfants à faible revenu ont historiquement eu [les ratios bénéfices/coûts] les plus élevés (...) Nombre de ces politiques ont été rentabilisées, les gouvernements ont récupéré le coût de leurs dépenses initiales par le biais d'impôts supplémentaires perçus et d'une réduction des transferts.". Contre l'idée que le plus tôt est toujours le plus efficace, les auteurs qu'ils ont "constaté [des ratios bénéfices/coûts] importants pour les politiques d'éducation et de santé chez les enfants de tous âges" (3) et trouvent quelques exemples de politiques ciblées sur les adultes particulièrement rentables.
Conclusion
Certaines politiques sociales ciblées sur les enfants ont été remarquablement efficaces et rentables. Il semble même qu'en moyenne, ces politiques précoces sont même plus efficaces et rentables que celles ciblées sur les adultes, parce qu'elles agissent sur des compétences non-cognitives acquises tôt, mais :
1. Cette efficacité se vérifie à tout âge de l'enfance. Il n'y a pas d'effet mécanique, qui ferait de chaque nouvelle année de vie une de trop pour intervenir. Par exemple, il n'y a pas lieu de penser qu'une politique bénéficiant à des élèves de 9 ans va être moins efficace qu'une politique ciblant des enfants de 7 ans, simplement parce que la première politique est moins précoce que la deuxième.
2. Cet effet n'est que moyen. Certaines politiques ciblées sur les adultes fonctionnent bien.
On pourrait penser que ces faits n'appellent qu'une seule conclusion politique : il faut implémenter des programmes éducatifs ciblés sur les jeunes en France pour augmenter leurs compétences non-cognitives. Je pense par exemple à des programmes comme celui d’ Energie Jeunes qui a déjà été rigoureusement évalué dans notre pays sur des collégiens de plusieurs académies entre 2014 et 2016. Concu pour améliorer la persévérance, l’autodiscipline et la motivation scolaire des élèves de collèges défavorisés, il constitait en trois interventions en classe de 55 minutes, chaque année de la 6ème à la 3ème. Il a amélioré de manière substantielle les performances scolaires des collégiens qui en ont bénéficié, avec un coût ridicule : 9 euros par an et par élève.
Néanmoins, j'aimerais dissiper un peu de votre enthousiasme (ou votre agacement). Je vais conclure cet article sur une précaution. C'est celle qu'on trouve à la fin de presque tous mes billets. Mon article traite des effets des politiques ciblées sur les jeunes. Il ne dit pas s'il faut effectivement mettre en place ces politiques. Il s'agit de deux questions différentes pour deux raisons.
D'une part, tout dépend du critère qu'on choisit. Veut-on vraiment concentrer les dépenses sur l'éducation ou la santé, domaines de prédilection des politiques sociales ? Certains préfereraient faire de l'environnement (ou de la sécurité) la priorité. On pourrait aussi imaginer qu'à un instant donné, on valorise plus le bien-être des individus plus âgés que celui des plus jeunes. Même en s'étant entendu sur un budget de l'éducation, veut-on augmenter le niveau scolaire moyen ? Augmenter le niveau des moins bons ? Tenter de réduire les inégalités entre meilleurs et moins bons élèves ? Certains considèrent en effet que corriger les faiblesses des élèves aux résultats les plus faibles ou moyens n'est pas la priorité, à l'image de ce thread sur twitter où l'on se désole de ce qu'on incite les professeurs à "ne pas faire ce qui fonctionne pour les meilleurs, mais faire pour les moyens et ceux en difficulté. On s'occupe des meilleurs à la marge, quand il nous reste du temps après s'être occupé des 20 autres élèves sur 35". Je ne crois pas en la technocratie. Savoir comment l'Etat doit dépenser l'argent des contribuables (et qu'il emprunte) est l'objet du débat politique, et non scientifique.
D'autre part, à critère égal, l'investissement précoce n'est bien sûr pas le seul levier éducatif possible. Les recommendations d’expert insistent en général sur d'autres facteurs comme la rémunération et la formation des enseignants, changer les critères de notation, ... Ce sera le sujet d'un autre article !
***
(1) Je vous conseille d'ailleurs ce formidable livre éponyme sur le sujet.
(2) Cette citation n'est pas de moi mais je ne parviens pas à retrouver son auteur. Soljenitsyne, peut-être ?
(3) Hendren et al. (2020) ne s'intéressent pas exactement au ratio coût/bénéfice mais à une mesure un peu différente, et peut-être un peu plus contestable : la valeur marginale des fonds publics, sorte de ratio entre le bénéfice privé et le bénéfice public d'une politique. Vous pouvez en savoir plus dans l'article en question.